كل رقم في هذه الصفحة منقول من دفتر التدريب المرفق بالمشروع — البنية، وأعداد البيانات، وقواعد التقييم نفسها. لا شيء هنا تقديري.
الصوت
7.5Mشبكة التفافية + BiLSTM + RNN فوق أطياف log-Mel
الفيديو
33.3MResNet3D r3d_18 فوق مقاطع من 16 إطارًا
الدمج
0.2Mشبكة MLP فوق متجه الدمج بـ 568 بُعدًا
ما يمر به الفيديو المرسل قبل ظهور النتيجة.
ffmpeg → 16 kHz mono WAV
128-band log-Mel → CNN + BiLSTM + RNN
16 frames @ 112 px → ResNet3D r3d_18
568-dim vector → Fusion MLP
Softmax → rule-based indicator scores
مكوّنات كل مرحلة والإشارة التي تستهلكها.
شبكة التفافية + BiLSTM + RNN فوق أطياف log-Mel
الطبقات
المواصفات
ResNet3D r3d_18 فوق مقاطع من 16 إطارًا
الطبقات
المواصفات
شبكة MLP فوق متجه الدمج بـ 568 بُعدًا
الطبقات
المواصفات
دُرِّب النموذج وقُيِّم على تسجيلات صوت وفيديو متطابقة لكلام وغناء بمشاعر تمثيلية.
RAVDESS
Speech + Song, paired audio/video
تتحول مخرجات الدمج إلى أربعة مؤشرات عبر طبقة قواعد شفافة — بلا نموذج ثانٍ وبلا أوزان مُتعلَّمة، لذا يمكن تتبّع كل درجة رجوعًا إلى احتمالات المشاعر أعلاه.
حزن مرتفع مع سعادة منخفضة. الضرب يعني وجوب تحقّق الشرطين معًا قبل ارتفاع الدرجة.
score = sad × (1 − happy)
يقوده الخوف، مع تعزيز بسيط من المفاجأة.
score = 0.85 × fearful + 0.15 × surprised
يقوده الغضب، ويعزّزه الخوف.
score = 0.6 × angry + 0.4 × fearful
سيطرة حالة محايدة مسطّحة على التسجيل بأكمله.
score = neutral
لا يُسمّى أي مؤشر ما لم تبلغ درجته 15% على الأقل. وما دون ذلك يُعتبر النمط الوجداني مستقرًا.
هذه النتيجة ليست تشخيصًا طبيًا. يرجى استشارة مختص.
البيئة التي أُنتجت عليها المقاييس المنشورة، والإعدادات التي دُرِّبت بها كل مرحلة.
English
العربية